Configurable EBEN: Extreme Bandwidth Extension Network to enhance body-conducted speech capture

This paper presents a configurable version of Extreme Bandwidth Extension Network (EBEN), a Generative Adversarial Network (GAN) designed to improve audio captured with body-conduction microphones. We show that although these microphones significantly reduce environmental noise, this insensitivity to ambient noise happens at the expense of the bandwidth of the speech signal acquired by the wearer of the devices. The obtained captured signals therefore require the use of signal enhancement techniques to recover the full-bandwidth speech. EBEN leverages a configurable multiband decomposition of the raw captured signal. This decomposition allows the data time domain dimensions to be reduced and the full band signal to be better controlled. The multiband representation of the captured signal is processed through a U-Net-like model, which combines feature and adversarial losses to generate an enhanced speech signal. We also benefit from this original representation in the proposed configurable discriminators architecture. The configurable EBEN approach can achieve state-of-the-art enhancement results on synthetic data with a lightweight generator that allows real-time processing.Comment: Accepted in IEEE/ACM Transactions on Audio, Speech and Language Processing on 14/08/202

A Dynamic System Simulation Device to Define Human-System Interface Requirements for the Dassault Rafale

Our study aimedto collect enhancement proposals of Rafale fighter aircraft human-system interface. Proposals had to be innovative and complied with the needs of information for pilots regarding Rafale future capabilities. We developed amethodology based on a device enabling the simulation of a dynamic system activity that is theRafale integrated in its war environment. Creativity of front line pilots participating inthis experimentation has been stimulated but constraint by the necessity ofa useful production due to the risks associated to the modification of a fighter aircraft already operating since 2006. Each proposal has been analyzed and synthetized through the abstraction hierarchy model of Rasmussen (1986). Results showed that for prospective and retrospectivefields,a specific tactical support built with models favored the expression of functional objective and that a board as a basic human-system interface favored the expression of physical functions. In the discussion, we supported the relevance of our methodology for the definition of human-system interface requirements in various dynamic systems

Deep Learning pour l’amélioration de signaux vocaux captés avec des transducteurs intra-auriculaires

National audienceCe projet de recherche est né d’une collaboration entre l’équipe LMSSC (Laboratoire de Mécanique des Structures et des Systèmes Couplés) du CNAM et l’équipe APC (Acoustique et Protection du Combattant) de l’ISL. Il a pour objectif d’améliorer l’intelligibilité de la parole captée par un microphone intra-auriculaire développé par l’ISL. Ce dispositif de captation non- conventionnel, adossé à une protection auditive active, permet de capter les signaux vocaux émis par un locuteur en éliminant toutes nuisances sonores extérieures. Cependant, le trajet acoustique entre la bouche et les transducteurs est responsable d’une perte totale d’information au-delà de 2 kHz. En basses fréquences, une légère amplification ainsi que des bruits physiologiques sont observés. Nous avons donc à faire à un problème de reconstruction de signal absent en hautes fréquences et de débruitage.Les méthodes par apprentissage profond seront privilégiées pour la reconstruction des hautes fréquences au détriment du modèle source-filtre qui n’est pas capable de rétablir d’information manquante.Une première phase d’analyse des signaux captés est nécessaire pour modéliser la dégradation et observer sa variabilité. La conception d’une base de données conséquente est alors rendue possible avec un filtrage numérique simulant les détériorations observées. Afin d’augmenter la richesse de cette base de données et d’éviter tout phénomène de sur- apprentissage, une composante aléatoire sera introduite dans le filtrage.La conception de réseaux de neurones profonds est maintenant rendue possible pour la régénération du signal émis à partir du signal dégradé. Une vaste exploration sur l’architecture des réseaux, les fonctions de coût utilisées et les stratégies d’apprentissage sera entreprise. L’objectif final est d’intégrer un réseau d’inférence sur une carte de programmation pour un traitement en temps réel. Une attention particulière sera attachée à la taille du réseau et au délai de traitement sur ce type d’architecture légère et peu consommatrice d’énergie

Deep Learning pour l’amélioration de signaux vocaux captés avec des transducteurs intra-auriculaires

National audienceCe projet de recherche est né d’une collaboration entre l’équipe LMSSC (Laboratoire de Mécanique des Structures et des Systèmes Couplés) du CNAM et l’équipe APC (Acoustique et Protection du Combattant) de l’ISL. Il a pour objectif d’améliorer l’intelligibilité de la parole captée par un microphone intra-auriculaire développé par l’ISL. Ce dispositif de captation non- conventionnel, adossé à une protection auditive active, permet de capter les signaux vocaux émis par un locuteur en éliminant toutes nuisances sonores extérieures. Cependant, le trajet acoustique entre la bouche et les transducteurs est responsable d’une perte totale d’information au-delà de 2 kHz. En basses fréquences, une légère amplification ainsi que des bruits physiologiques sont observés. Nous avons donc à faire à un problème de reconstruction de signal absent en hautes fréquences et de débruitage.Les méthodes par apprentissage profond seront privilégiées pour la reconstruction des hautes fréquences au détriment du modèle source-filtre qui n’est pas capable de rétablir d’information manquante.Une première phase d’analyse des signaux captés est nécessaire pour modéliser la dégradation et observer sa variabilité. La conception d’une base de données conséquente est alors rendue possible avec un filtrage numérique simulant les détériorations observées. Afin d’augmenter la richesse de cette base de données et d’éviter tout phénomène de sur- apprentissage, une composante aléatoire sera introduite dans le filtrage.La conception de réseaux de neurones profonds est maintenant rendue possible pour la régénération du signal émis à partir du signal dégradé. Une vaste exploration sur l’architecture des réseaux, les fonctions de coût utilisées et les stratégies d’apprentissage sera entreprise. L’objectif final est d’intégrer un réseau d’inférence sur une carte de programmation pour un traitement en temps réel. Une attention particulière sera attachée à la taille du réseau et au délai de traitement sur ce type d’architecture légère et peu consommatrice d’énergie

People post-stroke perceive movement fluency in virtual reality.

International audienceWe investigated the visual perception of biological movement by people post-stroke, using minimal kinematic displays. A group of twenty patients and a group of twelve age-matched healthy controls were asked to judge movement fluency. The movements to judge were either displayed as an end-point dot or as a stick-figure of the arm and trunk. It was found that the perception of movement fluency was preserved post-stroke, however, with an increase in the variability of judgment. Moreover, the end-point dot representation ameliorated what was perceived and judged, presumably by directing attention to the important kinematic cues: smoothness and directness of the trajectory. We conclude that, despite perception of actions is influenced by the ability of the observer to execute the observed movement, hemiparesis has a mild effect on the perception of biological movement. Yet, a valuable virtual learning environment for upper-limb rehabilitation should be implemented to provide the observer with neither too much, nor too little information to maximize learning

Energetic and Structural Characterizations of the PET–Water Interface as a Key Step in Understanding Its Depolymerization

International audienceWe report molecular simulations of the interaction between poly(ethylene terephthalate) (PET) surfaces and water molecules with a short-term goal to better evaluate the different energy contributions governing the enzymatic degradation of amorphous PET. After checking that the glass transition temperature, density, entanglement mass, and mechanical properties of an amorphous PET are well reproduced by our molecular model, we extend the study to the extraction of a monomer from the bulk surface in different environments, i.e., water, vacuum, dodecane, and ethylene glycol. We complete this energetic characterization by the calculation of the work of adhesion of PET surfaces with water and dodecane molecules and by the determination of the contact angle of water droplets. These calculations are compared with experiments and should help us to better understand the enzymatic degradation of PET from both the thermodynamic and molecular viewpoints